《Hive数据仓库工具》 课程教学大纲 (适用于项目导向或任务导向课程) 课程名称 hive数据仓库工具 课程代码 0306232 开课单位 人工智能学院 课程性质 专业必修课 总学时数 64 周学时数 4 开设学期 2024-2025-2 适用专业 大数据工程 执笔人 (课程负责人) 何永亚 编写时间 (年月) 2025年2月 审阅人 (专业负责人) 苏秀芝 审阅时间 (年月) 2025年2月 审定人 (二级院负责人) 谢钟扬 审定时间 (年月) 2025年2月 课程地位、目(的)标和要求 (一)课程地位 通过本课程的学习,可以使学生在搭建和使用Hive的过程中理解其中的技术原理。案例化教学,将技能和知识点拆分为单个的小案例,逐一进行理解和训练。综合应用强化,多类案例进行实操教学,提高学生使用Hive完成分析大数据项目的熟练程度。 (二)教学目标 1.掌握hadoop环境的搭建与配置; 2.掌握hive环境的安装与配置以及开发工具的安装; 3.掌握hive sql的定义操作; 4.掌握hive sql的数据操作; 5.掌握hive sql的查询操作; 6.掌握hive分区表、分桶表的基本操作 7.掌握hive函数的使用 8.自主、开放的学习能力,良好的团队合作精神 (三)基本要求 1、对教师的要求 掌握Hadoop生态圈常用组件的搭建和使用,重点掌握hive的安装配置,hive sql的使用相关知识并能熟练应用;根据授课状况合理调整授课进度。 2、对学生的要求 准备好相关软件,认真上课,按时完成练习;为了实现教学目标,按模块定期进行职业技能抽查模拟考核。 3、对实验条件的要求 实验硬件环境:建议运行内存16G,空闲磁盘30G 实验软件环境: 操作系统:Windows7 64位操作系统及以上版本 使用软件:MySQL8(及以上版本)、Hadoop3.3.1、、Hive3.x、sqoop1.4.7、Rochy linux8、DataEase1.8。 (四)注意事项或需要说明的问题 1、以项目式组织整个课程的教学、以实战项目贯穿整个教学过程。 2、教师要注意对教学项目的任务分解,将各个章节的知识点嵌入到各个任务中进行讲授和训练。 3、教师可以根据实际教学情况尝试使用翻转课堂、研讨式教学等教学改革措施。 课程项目(任务)内容 项目(任务)1 linux环境搭建与准备 目的: 掌握Centos的安装;掌握Centos中常用的Linux命令,掌握linux常用设置; 内容: (1)学习大数据相关知识,熟悉大数据的定义,大数据的基本特征及大数据处理与分析的相关技术、工具或产品等。 (2)掌握VMware的应用及作用 (3)掌握CentOS 7的安装、配置 (4)掌握CentOS 7中常用命令的使用 (5)掌握centos7中网络相关配置 (6)掌握x-shell、Filezilla等工具的使用 组织: 以单个学生或分组为单位开展任务实施。 要求: 掌握安装配置步骤,提实训报告。 项目(任务)2 Hadoop安装与配置 目的: 训练学生正确熟练的安装配置Hadoop。 内容: Hadoop伪分布安装与配置 Hadoop完全分布式环境搭建准备 搭建完全分布式Hadoop集群 组织: 以单个学生或分组为单位开展任务实施。 要求: 正确安装安装hadoop,配置正确。 提交实训报告 项目(任务)3 Hive的安装部署 目的: 训练学生做好hive的的安装与配置以及开发工具的搭建。 内容: Hive概述 Hive原理及架构 Hive的安装部署 Hiveserver2服务部署 使用Datagrip图形化客户端进行远程访问 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交实训报告。 项目(任务)4 DDL数据定义 目的: 使学生掌握hive对数据库、数据表的操作 内容: Hive对数据库的操作 Hive对数据表的操作 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交实训报告。 项目(任务)5 DML数据操作 目的: 使学生了解并掌握Hive数据导入、导出、备份与恢复的相关操作。 内容: 数据导入 数据导出 数据备份与恢复 组织: 以单个学生或分组为单位开展任务实施。 要求: 提实训报告 项目(任务)6 查询操作 目的: 使学生了解并掌握hive查询操作的方法 内容: 基础语法 基本查询 Hive表连接相关操作 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交实训报告 项目(任务)7 分区表和分桶表 目的: 使学生了解并掌握分区表和分桶表的使用方法 内容: 分区 分桶 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交实训报告 项目8 函数的使用 目的: 训练学生掌握hive函数的相关使用 内容: 函数简介 内置函数 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交实训报告。 项目9 hive sql综合训练 目的: 通过训练使学生全面掌握hive sql的用法 内容: 环境准备 简单查询 汇总分析 复杂查询 多表查询 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交实训报告。 项目(任务)10 教育大数据分析平台 目的: 通过一个综合实例,让学生掌握hive离线分析的一般步骤和方法。 内容: 项目概述 Sqoop安装配置 实现数据仓库分层 数据采集 数据分析 数据可视化 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交实训报告。 项目(任务)16 期末考核大作业 目的: 考核学生在本课程中的各个环节的知识和技能的掌握情况。 内容: 教师提供期末考核方案,根据实际教学情况提供一至三个任务,提供评分标准,编码素材。 由学生在机房现场编码。时限为100分钟。 组织: 以单个学生或分组为单位开展任务实施。 要求: 提交考试结果截图。 课程项目(任务)实施学时分配 序号 内容 教学方式或教学组织形式 学时 带问题预习 讲授 实操 小测试(竞赛) 项目1 linux环境搭建与准备 0.5 1.5 2 0 4 项目2 Hadoop安装与配置 1 3 4 0 8 项目3 Hive的安装部署 1 3 4 0 8 项目4 DDL数据定义 0.5 1.5 2 0 4 项目5 DML数据操作 0.5 1.5 2 0 4 项目6 查询操作 0.5 1.5 2 0 4 项目7 分区表和分桶表 0.5 1.5 2 0 4 项目8 函数的使用 0.5 1.5 2 0 4 项目9 Hive sql综合训练 1 3 4 0 8 项目10 教育大数据分析平台 1.5 4.5 6 0 12 任务11 期末考核大作业 0 2 0 2 4 课程项目(任务)评分标准 本实训(验)考核与成绩评定方法: 平时成绩 期末成绩 到课率 提取学生实操数据 课中竞赛成绩或问答 笔试 机试 现场测试(其他) 20% 20% 0% 0% 60% 0% 40% 60% 说明:项目(任务)可以选择一到两种考核方式,如:笔试或笔试加机试等,不宜选择过多,多则乱。 参考教材(或指导书) 实训(验)教材: